WebFovea: When the Model Is Right but the Click Is Wrong -- Reliable Round Trips for Vision-Based Web Agents on Live Websites
WebFovea：可靠闭环提升视觉 Web Agent 在真实网站上的表现
🧭 Web Agent 可靠执行与工程硬化
Independent Researcher
通过硬化解析、执行、观测、信息呈现四阶段，同一模型成绩从31.0升至57.0
📌 工作参考价值（4 点）
- 把 agent 环路拆成 parse → execute → observe → prompt 四阶段，分别监控和加固；业务里常只调模型，但瓶颈常在 harness，同一模型换 harness 可大幅提分。
- 真实网页自动化要处理坐标缩放（论文中曾所有点击落在 3/4 坐标处）、iframe、原生下拉框和文本框的静默失败；建议统一坐标空间并加执行后状态校验，必要时降级为 DOM/JS 操作。
- 对 LLM 输出做严格 schema 校验和清洗，防止 chat-template 自生成 token 污染动作序列；记录失败样本用于回归。
- 设置 guardrails 管理预算和规则约束，避免 Agent 越界或浪费步骤；可将不同步骤路由到不同模型平衡成本与效果。